Năm 1930, ông được người quen giới thiệu vào học thợ và làm việc tại xưởng cơ khí Nam Hưng, một xí nghiệp do một số nhà cách mạng Việt Nam lập ra, làm cơ sở liên lạc, nơi hội họp đồng thời là cơ sở hoạt động kinh tế để lấy kinh phí hoạt động. Tại đây Chi bộ Đông Dương cộng sản đảng gồm ba người: Hoàng Văn Thụ, Hoàng Đình Roong và Hoàng Vĩnh Tuy đã được thành lập, Hoàng Đình Roong làm bí thư chi bộ. Từ chi bộ ba người đã trở thành Ban liên tỉnh ủy Cao - Lạng. Hoàng Văn Thụ được phân công phụ trách Lạng Sơn. Ông rời xưởng Nam Hưng về Long Châu, gây dựng cơ sở ở Lũng Nghìu làm nơi liên lạc với những người cách mạng ở Việt Nam.

Năm 1930, ông gây dựng được 3 tổ quần chúng tại các xóm Ma Mèo, Tà Lài (huyện Văn Uyên), tới năm 1931 mở rộng ra các địa phương Khơ Đa, Na Sầm, Đồng Đăng, Kỳ Lừa, Thất Khê và tới năm 1932 mở rộng tới xã Nhân Lý quê ông. Khi vận động được người nào, ông thường tập hợp tại hang Áng Cúm (gần Lũng Nghìu) để huấn luyện rồi giao nhiệm vụ trở về phát triển tổ chức trong nước.

Nhận chỉ thị của Quốc tế Cộng sản, năm 1932, Lê Hồng Phong về nước hoạt động. Về tới Long châu, Lê Hồng Phong bắt liên lạc với Ban liên lạc tỉnh uỷ Cao - Lạng và đã gặp ông. Ông được Lê Hồng Phong giúp đỡ học tập chủ nghĩa Marx – Lenin và làm trợ bút cho tờ báo Châu Giang để học thêm tiếng Hán. Nhờ vốn tiếng Hán, ông đã tiếp cận với nhiều trước tác của Mao Trạch Đông. Từ khi Ban chỉ huy hải ngoại thành lập, ông trở thành người giúp việc tích cực của ban này và chắp nối với các cơ sở trong nước.

Cuối năm 1934, Hoàng Văn Thụ cùng các đảng viên trong Ban liên tỉnh uỷ lâm thời họp và được đề cử đại biểu đi dự đại hội đại biểu toàn quốc của Đảng cộng sản Đông Dương. Năm 1935, sau khi dự đại hội, ông được cử về nước hoạt động.